![arxiv：2502.02919v1 [cs.cv] 2025年2月5日](/simg/9/95a89e73bf74ff876d48cdddc14fbb2c556ce799.webp)
机构名称：
¥ 1.0
在视觉变压器中，位置嵌入（PE）在捕获令牌顺序方面起着作用。然而，在Vi-Sion变压器结构中，由于将嵌入位置嵌入的结构简单地添加到令牌嵌入中，因此PE的增强性存在限制。通过将PE传递到每一层的PE并应用独立层正常化的令牌嵌入和PE来克服此限制。在本文中，我们确定了使用全球平均池（GAP）方法而不是类令牌时在层的结构中发生的冲突结果。为了克服这个问题，我们提出了MPVG，这可以最大程度地利用差距在层结构中PE的有效性。具体来说，我们确定了PE平衡令牌在每层结构中的嵌入值。此外，我们认识到PE的平衡作用在层结构上不足，我们通过通过MPVG最大化PE的有效性来解决这一问题。通过实验，我们将表现出PE扮演平衡的角色，并且具有这种平衡方向性的主导性会显着影响视觉变压器。结果，实验性的研究表明，MPVG在各种任务上跨越视觉变压器的现有方法。
arxiv：2502.02919v1 [cs.cv] 2025年2月5日
主要关键词
![arxiv：2502.02919v1 [cs.cv] 2025年2月5日PDF文件第1页](/bimg/d/d5b1a984f36dafed9f621a423678e5de5fd466a3.webp)
![arxiv：2502.02919v1 [cs.cv] 2025年2月5日PDF文件第2页](/bimg/f/f1bffd490dd271b5d1b6f1e92c2bf92c70f77e17.webp)
![arxiv：2502.02919v1 [cs.cv] 2025年2月5日PDF文件第3页](/bimg/7/7d6231c6aa16799c308e8fed0b1994a4aa209cad.webp)
![arxiv：2502.02919v1 [cs.cv] 2025年2月5日PDF文件第4页](/bimg/f/fb8f9978bf3e4d50c3c78a6f337794ac35be1131.webp)
![arxiv：2502.02919v1 [cs.cv] 2025年2月5日PDF文件第5页](/bimg/f/f1c6fc7e96ae604260bac05952acfe9014ac78c4.webp)
相关文件推荐
![arxiv：2502.03124v1 [eess.sy] 2025年2月5日](/simg/3/33ae2427032dddacf611a2d02fbb8b420f4fa9fb.webp)
![arxiv：2502.14892v1 [cs.cv] 2025年2月17日](/simg/b/b495d4ee9dd26d76c8dad02913bbd55ecbbe1439.webp)
![arxiv：2502.06552v1 [cs.cv] 2025年2月10日](/simg/2/2ec25704fa8c4084b7cc7f50ebc9dcbed085615b.webp)
![arxiv：2502.07192v1 [cs.cv] 2025年2月11日](/simg/a/a52b4213b04afe4ff238254673040f354f77e23c.webp)
![arxiv：2502.04018v1 [cs.lg] 2025年2月6日](/simg/6/62588bb90c6463caf76624b24b4ad5de6c70ffeb.webp)
![arxiv：2502.07284v1 [cs.cr] 2025年2月11日](/simg/d/df3ff0a7ad3180706db8db5ea47d521c49976c22.webp)
![arxiv：2502.09484v1 [cs.cr] 2025年2月13日](/simg/5/5f5ba30d8d028843690622a79a7928e241ed3f29.webp)
![arxiv：2502.07837v1 [cs.ro] 2025年2月11日](/simg/9/93b35c876d38dc16ed903786765d84ef3dd790f3.webp)
![arxiv：2502.06869v1 [cs.lg] 2025年2月8日](/simg/9/941a44ebdca8e1e2fe7696dbc01558b91923efad.webp)
![arxiv：2502.05739v1 [cs.cr] 2025年2月9日](/simg/8/8c90dfafcced8491bf122f9146142c704356b63d.webp)
![arxiv：2502.06651v1 [cs.cr] 2025年2月10日](/simg/8/85d07bd4f031075dcff413f6e20fae8b425df70c.webp)
![arxiv：2502.02606v1 [CS.OH] 2025年2月1日](/simg/4/43a0a25d75041d38d927de1a8c18a665a57c24b6.webp)
![arxiv：2502.02710v1 [stat.ml] 2025年2月4日](/simg/6/6f28a11cf1cd61d8abfc07e0c32f7934a963fcd7.webp)
![arxiv：2502.07513v1 [Quant-ph] 2025年2月11日](/simg/7/786b70fad90ac4d1fb891bca238331f962ff29f8.webp)
![arxiv：2502.05508v1 [Quant-ph] 2025年2月8日](/simg/e/e73b1ae2125a5ffe0092f47a5f6ba00e45bad86a.webp)
![arxiv：2502.05658v1 [Quant-ph] 2025年2月8日](/simg/a/a2f3dc7502d0c958422e39e7f3956f8ce97f029c.webp)
![arxiv：2502.13333v1 [eess.sy] 2025年2月18日](/simg/2/2f7d7730da70b9787f71348cffaa29ea687584ca.webp)
![arxiv：2502.06956v1 [Quant-ph] 2025年2月10日](/simg/e/e5d48e0cf5320c7badff48c4e2d7683939a7f10c.webp)
![arxiv：2502.12206v1 [CS.AI] 2025年2月16日](/simg/8/83a0040bd75286ed258ba3b033d6e887b6838904.webp)
![arxiv：2502.04950v1 [Quant-ph] 2025年2月7日](/simg/6/62658c8c5932a77940998d5bbf5b5940842a4279.webp)
![arxiv：2502.03106v1 [cond-mat.mes-hall] 5月5日2025年2月](/simg/e/e129c2227d34a158b3e60a8fe2500203f87bef82.webp)
![arxiv：2502.05536v1 [physics.gen-ph] 2025年2月8日](/simg/d/d31f598b6e77e63b5007704312eb6b3f8e400457.webp)
![arxiv：2502.09316v1 [CS.CL] 2025年2月13日](/simg/2/22d76863607dc72ae93e2d071280b64d1386a5b9.webp)
![arxiv：2502.00469v1 [Math.cv] 2025年2月1日](/simg/c/c6dab2975c025848ab949e8a56962299c2f354a1.webp)
![arxiv：2502.05647v1 [CS.CC] 2025年2月8日](/simg/4/4aa9440187adea302200dbca2972abd9ba5c89f0.webp)
![arxiv：2502.11082v1 [Physics.App-ph] 2025年2月16日](/simg/0/0581b00c27e76902471366a5a8acab3c4cf0f085.webp)
![arxiv：2502.18639v1 [CS.ET] 2025年2月25日](/simg/7/742ef27604d585bda50228c598090beab893f942.webp)
![arxiv：2502.02572V1 [CS.DS] 2025年2月4日](/simg/6/68691a142bc84b5b40d7b2290991240b592dc7cc.webp)
![arxiv：2502.09635v1 [CS.CL] 2025年2月9日](/simg/5/586452b4ea49441bd6443e8bda3501695cf0efa9.webp)
![arxiv：2502.06993v1 [physics.optics] 2025年2月10日](/simg/1/1fafa95134290c2045c5ffc5b7c5a5cbd30e9fdb.webp)